自我注意机制是机器学习的重要组成部分,在量子机学习领域的研究相对较少。灵感来自量子算法(VQA)框架和经典的自我意识机制,提出了可以在近期量子计算机上实施的量子自我发项网络(QSAN)。从理论上讲,定义了量子自我注意机制(QSAM),这是对线性化和逻辑化后经典自我注意机制的一种新解释。量子逻辑相似性(QLS)是QSAM的核心之一,它用逻辑操作代替了内部产品的相似性操作,从而可以更好地在量子计算机上执行QSAM。量子位自发项评分矩阵(QBSASM)是另一个核心,它是用于表示输出分布的基于QLS的密度矩阵。实际上,QSAN是根据QSAM框架实现的,并引入了量子坐标的概念以简化电路设计。最后,QSAN在带有少量数据样本的量子计算机上进行了测试,为量子自然语言处理(QNLP)奠定了基础。
translated by 谷歌翻译
已经开发了许多本体论,即描述逻辑(DL)知识库,以提供有关各个领域的丰富知识。本体论由一个ABOX,即两个实体之间或一个概念与实体之间的断言公理组成,以及Tbox,即两个概念之间的术语公理。神经逻辑推理(NLR)是探索此类知识库的基本任务,该任务旨在根据查询和答案的分布式表示,以逻辑操作来回答多跳的查询。尽管以前的NLR方法可以给出特定的实体级答案,即ABOX答案,但它们无法提供描述性概念级答案,即Tbox答案,其中每个概念都是对一组实体的描述。换句话说,以前的NLR方法在忽略Tbox时唯一的原因是本体论的Abox。特别是,提供Tbox答案可以通过描述性概念来推断每个查询的解释,这使用户可以理解答案,并且在应用本体论领域具有极大的有用性。在这项工作中,我们提出了整个Tbox和Abox(TA-NLR)的神经逻辑推理的问题,该问题解决了需要解决在概念上纳入,代表和操作时需要解决的挑战。我们提出了一种原始解决方案,名为Ta-nlr的TAR。首先,我们合并了基于本体论公理的描述以提供概念的来源。然后,我们将概念和查询表示为模糊集,即其元素具有成员程度的集合,以与实体桥接概念和查询。此外,我们设计了涉及概念的概念的概念和查询以进行优化和推理的概念的设计操作员。两个现实世界数据集的广泛实验结果证明了TAR对TA-NLR的有效性。
translated by 谷歌翻译
具有强大学习能力的CNN被广泛选择以解决超分辨率问题。但是,CNN依靠更深的网络体系结构来提高图像超分辨率的性能,这可能会增加计算成本。在本文中,我们提出了一个增强的超分辨率组CNN(ESRGCNN),具有浅层架构,通过完全融合了深层和宽的通道特征,以在单图超级分辨率中的不同通道的相关性提取更准确的低频信息( SISR)。同样,ESRGCNN中的信号增强操作对于继承更长途上下文信息以解决长期依赖性也很有用。将自适应上采样操作收集到CNN中,以获得具有不同大小的低分辨率图像的图像超分辨率模型。广泛的实验报告说,我们的ESRGCNN在SISR中的SISR性能,复杂性,执行速度,图像质量评估和SISR的视觉效果方面超过了最先进的实验。代码可在https://github.com/hellloxiaotian/esrgcnn上找到。
translated by 谷歌翻译
大多数真实的知识图(kg)远非完整和全面。这个问题激发了预测最合理的缺失事实以完成给定的kg,即知识图完成(KGC)。但是,现有的kgc方法遇到了两个主要问题,1)虚假负面问题,即,采样的负面培训实例可能包括潜在的真实事实; 2)数据稀疏问题,即真实事实仅解释了所有可能事实的一小部分。为此,我们提出了针对KGC的对抗数据增强(PUDA)的积极未标记的学习。特别是,PUDA针对KGC任务量身定制了正标记的风险估计器,以解决虚假的负面问题。此外,为了解决数据稀疏问题,PUDA通过在积极的无标记的Minimax游戏中统一对抗性培训和积极的未标记学习来实现数据增强策略。现实世界基准数据集的广泛实验结果证明了我们提出的方法的有效性和兼容性。
translated by 谷歌翻译
GPU广泛用于加速机器学习工作负载的培训。随着现代机器学习模型越来越大,他们需要更长的时间来训练,导致GPU能耗更高。本文介绍了GPOEO,一个用于机器学习培训工作负载的在线GPU能量优化框架。 GPOEO通过采用用于在线测量,多目标预测建模和搜索优化的新颖技术动态地确定最佳能量配置。为了表征目标工作量行为,GPOEO利用GPU性能计数器。为了减少性能计数器分析开销,它使用分析模型来检测训练迭代变化,并且仅在检测到迭代移位时收集性能计数器数据。 GPOEO基于梯度升压和本地搜索算法使用多目标模型,在执行时间和能量消耗之间找到权衡。通过将其应用于来自在NVIDIA RTX3080TI GPU上运行的两个AI基准套件,通过将其应用于71台机器学习工作负载来评估GPoeo。与NVIDIA默认调度策略相比,GPOEO提供16.2%的平均节能,平均执行时间增加5.1%。
translated by 谷歌翻译
KNN分类是一种即兴的学习模式,其中仅当预测测试数据设置适当的K值并从整个训练样本空间搜索K最近邻居时,将它们引用到KNN分类的惰性部分。这一懒散的部分是应用KNN分类的瓶颈问题,因为完全搜索了K最近邻居。在本文中,提出了一步计算来取代KNN分类的惰性部分。一步计算实际上将惰性部分转换为矩阵计算,如下所示。考虑到测试数据,首先应用训练样本以将测试数据与最小二乘损耗功能拟合。然后,通过根据它们对测试数据的影响来加权所有训练样本来生成关系矩阵。最后,采用一个组套索来对关系矩阵进行稀疏学习。以这种方式,设置k值和搜索k最近邻居都集成到统一的计算。此外,提出了一种新的分类规则来改善单步核武器分类的性能。提出的方法是通过实验评估的,并证明了一步核武器分类是有效和有前途的
translated by 谷歌翻译
本文研究了用于无监督场景的图形神经网络(GNN)的节点表示。具体地,我们推导了理论分析,并在不适当定义的监督信号时,在不同的图形数据集中提供关于GNN的非稳定性能的实证演示。 GNN的性能取决于节点特征平滑度和图形结构的局部性。为了平滑通过图形拓扑和节点功能测量的节点接近度的差异,我们提出了帆 - 一个小说\下划线{s} elf- \下划线{a} u段图对比度\下划线{i} ve \ nignline {l}收入框架,使用两个互补的自蒸馏正则化模块,\ emph {Ie},内部和图间知识蒸馏。我们展示了帆在各种图形应用中的竞争性能。即使使用单个GNN层,Sail也在各种基准数据集中持续竞争或更好的性能,与最先进的基线相比。
translated by 谷歌翻译
How to effectively leverage the plentiful existing datasets to train a robust and high-performance model is of great significance for many practical applications. However, a model trained on a naive merge of different datasets tends to obtain poor performance due to annotation conflicts and domain divergence.In this paper, we attempt to train a unified model that is expected to perform well across domains on several popularity segmentation datasets.We conduct a detailed analysis of the impact on model generalization from three aspects of data augmentation, training strategies, and model capacity.Based on the analysis, we propose a robust solution that is able to improve model generalization across domains.Our solution ranks 2nd on RVC 2022 semantic segmentation task, with a dataset only 1/3 size of the 1st model used.
translated by 谷歌翻译
Recent methods for deep metric learning have been focusing on designing different contrastive loss functions between positive and negative pairs of samples so that the learned feature embedding is able to pull positive samples of the same class closer and push negative samples from different classes away from each other. In this work, we recognize that there is a significant semantic gap between features at the intermediate feature layer and class labels at the final output layer. To bridge this gap, we develop a contrastive Bayesian analysis to characterize and model the posterior probabilities of image labels conditioned by their features similarity in a contrastive learning setting. This contrastive Bayesian analysis leads to a new loss function for deep metric learning. To improve the generalization capability of the proposed method onto new classes, we further extend the contrastive Bayesian loss with a metric variance constraint. Our experimental results and ablation studies demonstrate that the proposed contrastive Bayesian metric learning method significantly improves the performance of deep metric learning in both supervised and pseudo-supervised scenarios, outperforming existing methods by a large margin.
translated by 谷歌翻译
我们介绍了第一个机器学习引力波搜索模拟数据挑战(MLGWSC-1)的结果。在这一挑战中,参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声,并发出了20秒的持续时间,其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现,最好的基于机器学习的算法能够以每月1个的错误警报率(FAR)的速度(FAR)实现基于匹配过滤的生产分析的敏感距离的95%。相反,对于真实的噪音,领先的机器学习搜索获得了70%。为了更高的范围,敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明,当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术,机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率,在这些区域中,建模的搜索在计算上很昂贵。根据我们的发现,我们汇编了我们认为,将机器学习搜索提升到重力波信号检测中的宝贵工具,我们认为这是最重要的研究领域。
translated by 谷歌翻译